Blog - LINE ENGINEERING

野﨑雄斗

Machine Learning Solution室 Privacy & Trustチーム

【インターンレポート】Federated Fine-tuning of LLMs with Differential Privacy
野﨑雄斗2023-09-19
Machine Learning Solution室 Privacy & Trustチーム
はじめに初めまして！野﨑雄斗と申します。現在、私は東京大学大学院情報理工学系研究科コンピュータ科学専攻修士課程1年で、杉山・横矢・石田研究室に所属し、機械学習についての研究をしています。特に現在は弱教師付き機械学習を軸に研究しています。2023年8月上旬から6週間、LINE夏インターンシップ技術職就業型コースに参加させていただき、「Federated Fine-tuning of LLMs with Differential Privacy」という課題に取り組みました。このレポートはそのテーマについて私が行ったことについて紹介いたします。目標: 分散したデータから大規模言語モデル(LLMs)の訓練するプライバシー保護機械学習手法の実装 LLMは一般的なNLPタスクをうまく解くことができます。その一方で、スマートフォン上での予測変換などタスクには、スマートフォン上の機微なデータを用いてLLMを学習することが望ましいと考えられます。その際、スマートフォン上のデータは個人のプライベートなものであると考えられるため、プライバシーに配慮した機械学習手法が必要です。そこで、本インターンシ

1